由于其在看不见的数据域中的强大适应能力,可普遍的人重新识别(RE-ID)引起了人们的注意力。但是,现有的解决方案通常会忽略穿越摄像机(例如照明和解决方案差异)或行人未对准(例如,观点和姿势差异),这在适应新领域时很容易导致概括能力。在本文中,我们将这些困难提出为:1)相机相机(CC)问题,它表示由不同的相机引起的各种人类外观变化; 2)摄像头(CP)问题,这表明在不同的摄像机观点或更改姿势下,由相同身份人引起的行人未对准。为了解决上述问题,我们提出了一个双流生成模型(BGM),以学习与摄像机不变的全局功能和行人对准本地功能融合的细粒度表示,该功能包含编码网络和两个流解码子网络。在原始的行人图像的指导下,通过过滤跨摄像机干扰因子来学习CC问题的摄像头全局功能。对于CP问题,另一个流可以使用信息完整的语义对齐零件图来学习一个与人行人对齐的本地特征,以进行行人对齐。此外,提出了部分加权损失函数,以减少丢失零件对行人对齐的影响。广泛的实验表明,我们的方法优于大规模概括性重新ID基准的最新方法,涉及域的概括设置和跨域设置。
translated by 谷歌翻译
Embedding tables are usually huge in click-through rate (CTR) prediction models. To train and deploy the CTR models efficiently and economically, it is necessary to compress their embedding tables at the training stage. To this end, we formulate a novel quantization training paradigm to compress the embeddings from the training stage, termed low-precision training (LPT). Also, we provide theoretical analysis on its convergence. The results show that stochastic weight quantization has a faster convergence rate and a smaller convergence error than deterministic weight quantization in LPT. Further, to reduce the accuracy degradation, we propose adaptive low-precision training (ALPT) that learns the step size (i.e., the quantization resolution) through gradient descent. Experiments on two real-world datasets confirm our analysis and show that ALPT can significantly improve the prediction accuracy, especially at extremely low bit widths. For the first time in CTR models, we successfully train 8-bit embeddings without sacrificing prediction accuracy. The code of ALPT is publicly available.
translated by 谷歌翻译
To offer accurate and diverse recommendation services, recent methods use auxiliary information to foster the learning process of user and item representations. Many SOTA methods fuse different sources of information (user, item, knowledge graph, tags, etc.) into a graph and use Graph Neural Networks to introduce the auxiliary information through the message passing paradigm. In this work, we seek an alternative framework that is light and effective through self-supervised learning across different sources of information, particularly for the commonly accessible item tag information. We use a self-supervision signal to pair users with the auxiliary information associated with the items they have interacted with before. To achieve the pairing, we create a proxy training task. For a given item, the model predicts the correct pairing between the representations obtained from the users that have interacted with this item and the assigned tags. This design provides an efficient solution, using the auxiliary information directly to enhance the quality of user and item embeddings. User behavior in recommendation systems is driven by the complex interactions of many factors behind the decision-making processes. To make the pairing process more fine-grained and avoid embedding collapse, we propose an intent-aware self-supervised pairing process where we split the user embeddings into multiple sub-embedding vectors. Each sub-embedding vector captures a specific user intent via self-supervised alignment with a particular cluster of tags. We integrate our designed framework with various recommendation models, demonstrating its flexibility and compatibility. Through comparison with numerous SOTA methods on seven real-world datasets, we show that our method can achieve better performance while requiring less training time. This indicates the potential of applying our approach on web-scale datasets.
translated by 谷歌翻译
在大多数现实世界中的推荐方案中,多种行为(例如,单击,添加到购物车,采购等)的多类型,这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性,因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是,不同的行为可能反映了用户偏好的不同方面,这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性,我们向多行为建议介绍了多功能学习。更具体地说,我们提出了一种新颖的粗到五个知识增强的多功能学习(CKML)框架,以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块,即粗粒兴趣提取(CIE)和细粒度的行为相关性(FBC),它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案,以在兴趣之间进一步分配每个行为。此外,我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。
translated by 谷歌翻译
隐式反馈经常用于开发个性化的推荐服务,因为其无处不在和现实世界中的可访问性。为了有效地利用此类信息,大多数研究都采用成对排名方法对构建的培训三胞胎(用户,正面项目,负项目),并旨在区分每个用户的正面项目和负面项目。但是,这些方法中的大多数都同样对待所有训练三胞胎,这忽略了不同的正或负项目之间的微妙差异。另一方面,即使其他一些作品利用用户行为的辅助信息(例如,停留时间)来捕获这种微妙的差异,但很难获得这样的辅助信息。为了减轻上述问题,我们提出了一个名为Triplet重要性学习(TIL)的新型培训框架,该框架可以自适应地学习训练三胞胎的重要性得分。我们为重要性得分生成的两种策略设计了两种策略,并将整个过程作为双层优化,这不需要任何基于规则的设计。我们将提出的训练程序与基于图形神经网络(GNN)基于图形的推荐模型的几个矩阵分解(MF)集成在一起,证明了我们的框架的兼容性。通过使用与许多最先进方法的三个现实世界数据集进行比较,我们表明我们所提出的方法在top-k推荐方面的召回@k方面优于3-21 \%的最佳现有模型。
translated by 谷歌翻译
植物点云的分割以获得高精度的形态特征对于植物表型和作物育种至关重要。尽管深度学习方法的绽放促进了对植物点云的分割的大量研究,但大多数作品遵循基于硬素化或基于下采样的方法的共同实践。它们仅限于细分简单的植物器官,忽略了解决具有高空间分辨率的复杂植物点云的困难。在这项研究中,我们提出了一个深度学习网络分割变压器(PST),以实现MLS(移动激光扫描)油料种子强奸点云的语义和实例分割,该强奸点云将其特征在于微小的硅酸盐和致密点作为主要特征。 PST由:(i)一个动态体素特征编码器(DVFE),可通过原始空间分辨率进行每个点特征聚集; (ii)双窗口设置注意力块以捕获上下文信息; (iii)一个密集的特征传播模块,以获得最终的致密点特征图。结果证明,PST和PST-PointGroup(PG)在语义和实例分段任务中实现了最新性能。对于语义细分,PST分别达到93.96%,97.29%,96.52%,96.88%和97.07%的平均值,平均精度,平均召回率,平均F1得分和整体准确性。例如,在MCOV,MWCOV,MPERC90和MREC90中,分割的PST-PG分别达到89.51%,89.85%,88.83%和82.53%。这项研究以端到端的方式扩展了油料强奸的表型,并证明了深度学习方法具有巨大的潜力,可以理解具有复杂形态特征的密集植物点云。
translated by 谷歌翻译
为了更好地利用搜索日志和建模用户的行为模式,提出了许多点击模型来提取用户的隐式交互反馈。大多数传统点击模型都是基于概率图形模型(PGM)框架,该框架需要手动设计的依赖项,并且可能会过度简化用户行为。最近,提出了基于神经网络的方法来通过增强表达能力并允许灵活的依赖性来提高用户行为的预测准确性。但是,他们仍然遭受数据稀疏性和冷启动问题的困扰。在本文中,我们提出了一个新颖的图形增强点击模型(GraphCM),用于Web搜索。首先,我们将每个查询或文档视为顶点,并分别针对查询和文档提出新颖的均匀图构造方法,以完全利用会议内和会议间信息,以解决稀疏性和冷启动问题。其次,在考试假设之后,我们分别对吸引力估计量和检查预测值进行了建模,以输出吸引力得分和检查概率,在该分数中,应用图形神经网络和邻居相互作用技术用于提取在预构建的同质图中编码的辅助信息。最后,我们将组合功能应用于将考试概率和吸引力得分整合到点击预测中。在三个现实世界会话数据集上进行的广泛实验表明,GraphCM不仅胜过了最先进的模型,而且还可以在解决数据稀疏性和冷启动问题方面取得卓越的性能。
translated by 谷歌翻译
为了根据用户的隐式交互反馈提供点击模拟或相关性估计,在近年来,单击模型进行了很多研究。大多数点击模型都集中在用户行为上,指向单个列表。但是,随着用户界面设计(UI)设计的开发,结果页面上显示的项目的布局往往是多块(即多列表)样式而不是单个列表,这需要不同的假设来建模用户行为模型更精确地。存在桌面上下文中多块页面的单击模型,但是由于不同的互动方式,结果类型,尤其是多块演示样式,因此无法直接应用于移动方案。特别是,多块移动页面通常可以分解为基本垂直块和水平块的交织,从而导致典型的F形式。为了减轻桌面和移动上下文之间的多块页面上的差距,我们进行了用户吸引人的学习研究,并确定用户的顺序浏览,block skip和F-Shape页面上的比较模式。这些发现导致了新型的F形点击模型(FSCM)的设计,该模型是多块移动页面的一般解决方案。首先,我们为每个页面构建一个有向的无环图(DAG),每个项目都被视为顶点,每个边缘表示用户可能的检查流。其次,我们建议分别对用户的顺序(顺序浏览,块跳过)和非序列(比较)行为提出DAG结构的GRU和比较模块。最后,我们将GRU状态和比较模式结合在一起,以执行用户点击预测。与基线模型相比,大型现实世界数据集上的实验验证了FSCM对用户行为预测的有效性。
translated by 谷歌翻译
基于模型的强化学习引起了广泛的样本效率。尽管到目前为止,它令人印象深刻,但仍然不清楚如何适当安排重要的超参数,以实现足够的性能,例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中,我们首先分析了实际数据在政策培训中的作用,这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析,我们提出了一个名为autombpo的框架,以自动安排真实的数据比以及基于培训模型的策略优化(MBPO)算法的其他超参数,是基于模型的方法的代表性运行情况。在几个连续控制任务上,由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的,并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。
translated by 谷歌翻译
点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性,它们被广泛采用以提高CTR预测模型的性能。因此,有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类:(1)NA \“IVE方法,它不会模拟特征交互,只使用原始特征;(2)记忆方法,通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;(3)分解方法,学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明,由于不同特征相互作用的独特特征,这些方法之一的建模特征交互是次优。为了解决这个问题,我们首先提出一个称为OptInter的一般框架,该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter,我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明,Optinter可提高最佳的最先进的基线深度CTR模型,高达2.21%。与回忆的方法相比,这也优于基线,我们减少了高达91%的参数。此外,我们进行了几项消融研究,以研究Optinter不同组分的影响。最后,我们提供关于替代替代品结果的可解释讨论。
translated by 谷歌翻译